Lehre
Die Vorlesungen an der LMU München
Mathematische Grundlagen des Deep Learning
Deep Learning ist die grundlegende Methodik, die den Kern der meisten modernen Technologien im Bereich des maschinellen Lernens und der künstlichen Intelligenz bildet. Der Kurs „Mathematische Grundlagen des maschinellen Lernens II – Deep Learning” hat zum Ziel, die mathematische Theorie des Deep Learning zu behandeln. Tiefe neuronale Netze sind Funktionen, die als Zusammensetzungen einfacher Funktionen, sogenannter Schichten (engl. layer), aufgebaut sind, die wiederum affine Funktionen sind, die mit einer komponentenweisen nichtlinearen Funktion, der sogenannten Aktivierungsfunktionen, zusammengesetzt sind.
Im Lernprozess müssen die Parameter dieser Funktionen an die Trainingsdaten angepasst werden, um auf der Grundlage des gelernten neuronalen Netzwerks Vorhersagen für neue Daten treffen zu können. Während die mathematische Theorie des Deep Learning derzeit noch in den Anfängen steckt und sich schnell weiterentwickelt, gibt es eine Reihe von mathematischen Prinzipien und wichtigen Ergebnissen, die bereits verstanden sind und die Gegenstand dieses Kurses sein werden.
Insbesondere planen wir, die folgenden mathematischen Themen zu behandeln:
Approximation: Wie gut können wir eine gegebene Funktion mit einem neuronalen Netzwerk approximieren?
Optimierung: Der Lernprozess besteht darin, ein hochdimensionales und nicht-konvexes Optimierungsproblem über die Parameter eines neuronalen Netzwerks zu lösen.
Generalisierung: Basierend auf probabilistischen Annahmen über die Grundwahrheit und die Trainingsdaten ist es möglich, abzuschätzen, wie gut ein gelerntes neuronales Netzwerk bei zukünftigen Daten funktioniert.
Analysis 1
Der Kurs vermittelt die rigorosen mathematischen Grundlagen der Infinitesimalrechnung und etabliert den theoretischen Rahmen für Konzepte wie Grenzwerte, Stetigkeit, Differentiation und Integration. Der Kurs führt die Studierenden in den Epsilon-Delta-Formalismus ein und trainiert sie im Konstruieren präziser mathematischer Beweise. Im Verlauf der Vorlesung entwickeln die Studierenden sowohl Rechenfertigkeiten als auch ein tiefes konzeptuelles Verständnis der reellen Analysis und lernen, mit Folgen, Reihen und Funktionen auf der reellen Achse zu arbeiten. Der Schwerpunkt liegt auf der Analysis einer Variablen und schafft die essentielle Grundlage für fortgeschrittene mathematische Studien.
Mathematische Grundlagen des Maschinellen Lernens
Ziel des Kurses ist es, grundlegende Kenntnisse über die theoretischen Grundlagen des maschinellen Lernens zu vermitteln. Der Schwerpunkt des Kurses liegt insbesondere auf der mathematischen Formulierung von Konzepten und Algorithmen des maschinellen Lernens sowie deren strenger mathematischer Analyse.
Inhalt des Kurses:
Teil I: Statistische Lerntheorie:
- Überwachtes Lernen, Klassifizierungs- und Regressionsprobleme
- Der Rahmen des wahrscheinlich annähernd korrekten Lernens (PAC-Lernen)
- Werkzeuge aus der Wahrscheinlichkeitstheorie (Markov-Ungleichung, Hoeffding-Ungleichung, Cramér-Theorem)
- Empirische Risikominimierung
- No-Free-Lunch-Theorem des überwachten Lernens
- Bias-Komplexitäts-Trade-off
- Generalisierungsfehlergrenzen über Rademacher-Komplexität und VC-Dimension
- Support-Vektor-Maschinen
- Stochastischer Gradientenabstieg
- Neuronale Netze (Deep Learning)
Hochdimensionale Wahrscheinlichkeitstheorie
Die hochdimensionale Wahrscheinlichkeitstheorie untersucht das Verhalten zufälliger Phänomene in Räumen, in denen die Anzahl der Dimensionen groß wird, wobei oft kontraintuitive Effekte auftreten, die in niedrigen Dimensionen nicht erscheinen. Der Kurs behandelt fundamentale Konzentrationsungleichungen, Zufallsmatrixtheorie und geometrische Eigenschaften hochdimensionaler Verteilungen. Im Verlauf der Vorlesung lernen die Studierenden, wie klassische probabilistische Intuition in hohen Dimensionen versagen kann, und entwickeln Werkzeuge zur Analyse komplexer stochastischer Systeme, die in modernen Anwendungen auftreten. Der Schwerpunkt liegt auf asymptotischem Verhalten und dimensionaler Skalierung, mit Anwendungen in Statistik, Data Science und theoretischer Informatik.
Compressive Sensing
Compressive Sensing ist ein Paradigma, das Dünnbesetztheit (engl. sparsity) ausnutzt, um hochdimensionale Signale aus einer bemerkenswert kleinen Anzahl von Messungen zu rekonstruieren und damit das traditionelle Nyquist-Abtasttheorem herausfordert. Der Kurs behandelt die mathematischen Grundlagen der dünnbesetzten Signalrekonstruktion, einschließlich eingeschränkter Isometrieeigenschaften, Kohärenzbedingungen und Rekonstruktionsalgorithmen wie Basis Pursuit und gierige Methoden. Im Verlauf der Vorlesung lernen die Studierenden, wann exakte oder approximative Rekonstruktion garantiert ist und wie man effiziente Messmatrizen für verschiedene Anwendungen entwirft. Der Schwerpunkt liegt auf dem Zusammenspiel zwischen linearer Algebra, Optimierung und Wahrscheinlichkeitstheorie, mit Anwendungen von medizinischer Bildgebung bis zur Signalverarbeitung.
Optimierungsmethode
Optimierung ist die Lehre vom Finden der „besten" Alternative zwischen einer Menge möglicher Optionen im Hinblick auf eine gegebene Zielfunktion. Der Kurs widmet sich dem Studium der am weitesten verbreiteten Optimierungsmethoden und ihrer Konvergenzanalyse. Im Verlauf der Vorlesung lernen die Studierenden, wie man die am besten geeignete Optimierungsmethode für ein gegebenes Problem auswählt und die erwartete Konvergenzrate des Algorithmus in diesem spezifischen Szenario bewertet. Der Schwerpunkt liegt auf kontinuierlicher Optimierung, das heißt, wir betrachten Probleme mit kontinuierlichen Variablen, die in einem kontinuierlichen Vektorraum leben.
Mathematische Grundlagen des Maschinellen Lernens
Eine Beschreibung des Kurses sowie Links zu den Moodle- und LSF-Seiten finden Sie unter „Vorheriges Semester“.
Optimierungsmethode
Eine Beschreibung des Kurses sowie Links zu den Moodle- und LSF-Seiten finden Sie unter „Vorheriges Semester“.